home *** CD-ROM | disk | FTP | other *** search
/ Skunkware 5 / Skunkware 5.iso / src / Tools / freeWAIS-sf-1.1 / TODO < prev   
Encoding:
Text File  |  1994-09-08  |  5.4 KB  |  143 lines
  1. Here is a somewhat adhoc list of things to fix and features to add:
  2.  
  3.  
  4. X11R6    Some might have noticed that the X clients do not (yet) compile
  5.          with the new X11 release. Porting should not be too dif#cult
  6.          for someone with some X11 Knowledge
  7.  
  8. ANSI     Code currently does not pass a strikt ANSI Compiler.  We
  9.          intend to switch to the Prototyping scheme known from the WWW
  10.          library:
  11.  
  12.  
  13.          #ifdef  __STDC__
  14.          #define  ARGS1(t,a)  \
  15.                                   (t  a)
  16.          #else   /*  not  ANSI  */
  17.          #define  ARGS1(t,a)  (a)  \
  18.                                   t  a;
  19.          #endif  /*  __STDC__  (ANSI)  */
  20.  
  21.  
  22. waisindex BUGS
  23.  
  24.  
  25.  
  26.          filenames 
  27.                 Waisindex has still problems with filenames.  E.g.
  28.                 files with apostophes or asterics in them are not
  29.                 handled properly.  Filenames with wildcards may enter
  30.                 the filename table despite the fact, that they do not
  31.                 exists.
  32.  
  33.          -a     The -a tag is not handled properly. Adding a file, which
  34.                 contains only a subset of the declared fields causes
  35.                 the other #elds to be ignored by the server until a
  36.                 "complete" document is added.
  37.  
  38. Compressed Indexes 
  39.          There are several know methods for compressing inverted files
  40.          which could save us disc space and significatly improve
  41.          search speed.
  42.  
  43. Spatial Indexes        (Notes from Doug Nebert)
  44.  
  45.          We would like to add a field type into the SF software which
  46.          would allow for the parsing of and indexing of geographic
  47.          coordinates that describe the outline of a data set or
  48.          document.  Software has been written outside of SF to do the
  49.          parsing (using flex), and the indexing and overlay routines
  50.          have been included into the freeWAIS-0.3 code.  Now we need
  51.          to integrate the code so that we can perform full field
  52.          searching of text, dates, numbers, and geography in one
  53.          indexing system.
  54.  
  55. Forms      (Notes from Doug Nebert)
  56.  
  57.          It seems to me that if the SF crowd can consistently use the
  58.          .fde file incorporated into the available .src file that a
  59.          functionality like "explain" can be developed to allow the
  60.          client to determine what attributes are being used and
  61.          formulate a query window to match it.  probably easier would
  62.          be to have a "form" resource file which could be retrieved
  63.          from the server (e.g. query.html) by a "smart" http client...
  64.  
  65. Relevance Feedback 
  66.  
  67.          Notice, that the thing build in freeWAIS* is not "Relevance
  68.          Feed- back". It is rathersome kind of query expansion. Real
  69.          Relevance Feedback is proved to produce much more effective
  70.          ranking.
  71.  
  72. Z39.50 V2       (Notes from Doug Nebert)
  73.  
  74.          It seems that the functionality you have provided matches
  75.          very well the basic abilities of Z39.50 V2 and V3 in terms of
  76.          fields and search.  If there were a way to identify
  77.          registered attributes then the construction of a gateway from
  78.          ZDIST to an FreeWAIS- sf store of data would be possible,
  79.          allowing people to keep their data in one format and serve
  80.          the V1 and non V1 communities.
  81.  
  82.          My thoughts regarding a linkage between FreeWAIS-sf and a
  83.          full Z39.50 V2-3 release such as ZDIST were to provide a link
  84.          into the new capabilities and other "compliant" clients out
  85.          there.  But I think much of the API work could be done with
  86.          the help of CNIDR personnel # their "linkage" back into
  87.          freeWAIS-0.3 disabled some of the functionality whereas
  88.          FreeWAIS-sf is more on the same level of sophistication as V2
  89.          and should be easier to connect to. If such a connection can
  90.          be made it would allow you all to maintain and enhance the
  91.          existing code and have some partners out here work on
  92.          maintaining the API connection, taking the load off you
  93.          except in consultation ...
  94.  
  95. Fields   Note from Alberto Accomazzi (Darin McKeever proposed similar
  96.          features).
  97.  
  98.          First of all, when indexing the documents, the user should be
  99.          able to specify the following for each field to be indexed:
  100.  
  101.  
  102.              o  minimum word length
  103.  
  104.              o  set of characters composing the terms - i.e. the delimiter set
  105.  
  106.              o  synonym file
  107.  
  108.              o  stopword file
  109.  
  110.          This could be done by allowing the entries in the format file
  111.          to look like:
  112.  
  113.  
  114.                <field>  /^Authors:  /
  115.                au  TEXT  BOTH  minchars  2  word  /[^  ;"n=()]+/
  116.                       stop  abstracts_field_au.stop  syn  abstracts_field_syn.syn
  117.                <end>
  118.  
  119.  
  120.          Other things such as headline length should be specifiable in
  121.          the .fmt file as well.
  122.  
  123. Documentation 
  124.  
  125.          Counting the mails I receive every day leads to the
  126.          conclusion that there is a lack of documentation.
  127.  
  128.          man    The online manuals are out of date.
  129.  
  130.          document specs 
  131.  
  132.                 Many people have difficulties in building document
  133.                 specifications.  Either there should be a nicer input
  134.                 format or someone should provide a compiler (+checking
  135.                 and testing?) for some prettier specification format.
  136.  
  137.          other systems       
  138.  
  139.                 There should be more info on: How do i use FreeWAIS-sf
  140.                 with Gopher, Mosaic, httpd, perl, ...
  141.  
  142.  
  143.